बड़े भाषा मॉडल (LLM) ने प्राकृतिक भाषा प्रसंस्करण (NLP) के क्षेत्र में महत्वपूर्ण प्रगति की है, जिससे यह पाठ उत्पन्न करने, संक्षेपण और प्रश्न उत्तर जैसे अनुप्रयोगों में चमक रहा है। हालाँकि, LLM की टोकन स्तर की प्रक्रिया (एक बार में एक शब्द की भविष्यवाणी करना) कुछ चुनौतियों को भी लाती है। यह तरीका मानव संचार के तरीके से विपरीत होता है, जो अक्सर उच्च स्तर की अमूर्तता में कार्य करता है, जैसे वाक्य या विचार। टोकन स्तर मॉडल उन कार्यों में भी अपर्याप्त साबित होते हैं जिन्हें लंबे संदर्भ की समझ की आवश्यकता होती है और यह असंगत आउटपुट भी उत्पन्न कर सकते हैं। इसके अलावा, इन मॉडलों को